在互动过程中了解人类的意图一直是一个持久的主题，它在人类机器人互动，虚拟现实和监视中都有应用。在这项研究中，我们专注于与大型每日物体的全身相互作用，并旨在预测对人类对象相互作用的顺序观察，以预测对象和人类的未来状态。由于没有这样的数据集专用于与大型每日物体的全身相互作用，因此我们收集了一个大规模的数据集，其中包含数千种用于培训和评估目的的交互。我们还观察到，对象的固有物理属性对于对象运动预测很有用，因此设计一组对象动态描述符以编码此类内部属性。我们将对象动态描述符视为一种新模式，并提出图形神经网络HO-GCN，以将运动数据和动态描述符为预测任务。我们显示了所提出的网络，消耗动态描述符可以实现最先进的预测结果，并帮助网络更好地推广到看不见的对象。我们还证明了预测结果对人类机器人的合作有用。

盲面修复是从未知的降解中恢复高质量的面部图像。由于面部图像包含丰富的上下文信息，因此我们提出了一种方法，还可以修复器，该方法探讨了完全空间的关注，以模拟上下文信息并超越了使用本地运营商的现有作品。与先前的艺术相比，还原构造器具有多种好处。首先，与以前视觉变压器（VIT）中传统的多头自我发作不同，还原构图结合了多头跨注意层，以学习损坏的查询与高质量的键值对之间的完全空间相互作用。其次，从重建为导向的高质量词典中对Resotreformer中的钥匙值对进行采样，其元素具有富含高质量的面部特征，专门针对面部重建，从而导致出色的恢复结果。第三，RestoreFormer优于一个合成数据集和三个现实世界数据集上的先进的最新方法，并且可以产生具有更好视觉质量的图像。

对于许多应用程序，例如同时本地化和映射（SLAM），基于点云的大规模识别是一项重要但具有挑战性的任务。以任务为云检索问题，以前的方法取得了令人愉快的成就。但是，如何处理由旋转问题引起的灾难性崩溃仍然不足。在本文中，为了解决这个问题，我们提出了一个基于点云的新型旋转型大型位置识别网络（RPR-NET）。特别是，为了解决问题，我们建议分三个步骤学习旋转不变的功能。首先，我们设计了三种新型的旋转不变特征（RIF），它们是可以保持旋转不变属性的低级特征。其次，使用这些Rifs，我们设计了一个细心的模块来学习旋转不变的内核。第三，我们将这些内核应用于先前的点云功能，以生成新功能，这是众所周知的SO（3）映射过程。通过这样做，可以学习高级场景特定的旋转不变功能。我们将上述过程称为细心的旋转不变卷积（ARICONV）。为了实现位置识别目标，我们构建了RPR-NET，它将Ariconv作为构建密集网络体系结构的基本单元。然后，可以从RPR-NET中充分提取用于基于检索的位置识别的强大全局描述符。普遍数据​​集的实验结果表明，我们的方法可以在解决旋转问题时显着优于现有的最新位置识别模型的可比结果，并显着优于其他旋转不变的基线模型。

以前的工作主要侧重于改善NLU任务的交叉传输，具有多语言预用编码器（MPE），或提高与伯特的监督机器翻译的性能。然而，探索了，MPE是否可以有助于促进NMT模型的交叉传递性。在本文中，我们专注于NMT中的零射频转移任务。在此任务中，NMT模型培训，只有一个语言对的并行数据集和搁置架MPE，然后它直接测试在零拍语言对上。我们为此任务提出了Sixt，一个简单而有效的模型。 SIXT利用了两阶段培训计划利用MPE，并进一步改进了解离编码器和容量增强的解码器。使用此方法，SIMPT显着优于MBart，这是一个用于NMT的预磨削的多语言编码器解码器模型，平均改善了14个源语言的零拍摄的任何英语测试集上的7.1 BLEU。此外，培训计算成本和培训数据较少，我们的模型在15个任何英语测试组上实现了比Criss和M2M-100，两个强大的多语言NMT基线更好的性能。

Point cloud registration (PCR) is a popular research topic in computer vision. Recently, the registration method in an evolutionary way has received continuous attention because of its robustness to the initial pose and flexibility in objective function design. However, most evolving registration methods cannot tackle the local optimum well and they have rarely investigated the success ratio, which implies the probability of not falling into local optima and is closely related to the practicality of the algorithm. Evolutionary multi-task optimization (EMTO) is a widely used paradigm, which can boost exploration capability through knowledge transfer among related tasks. Inspired by this concept, this study proposes a novel evolving registration algorithm via EMTO, where the multi-task configuration is based on the idea of solution space cutting. Concretely, one task searching in cut space assists another task with complex function landscape in escaping from local optima and enhancing successful registration ratio. To reduce unnecessary computational cost, a sparse-to-dense strategy is proposed. In addition, a novel fitness function robust to various overlap rates as well as a problem-specific metric of computational cost is introduced. Compared with 7 evolving registration approaches and 4 traditional registration approaches on the object-scale and scene-scale registration datasets, experimental results demonstrate that the proposed method has superior performances in terms of precision and tackling local optima.

Cone beam computed tomography (CBCT) has been widely used in clinical practice, especially in dental clinics, while the radiation dose of X-rays when capturing has been a long concern in CBCT imaging. Several research works have been proposed to reconstruct high-quality CBCT images from sparse-view 2D projections, but the current state-of-the-arts suffer from artifacts and the lack of fine details. In this paper, we propose SNAF for sparse-view CBCT reconstruction by learning the neural attenuation fields, where we have invented a novel view augmentation strategy to overcome the challenges introduced by insufficient data from sparse input views. Our approach achieves superior performance in terms of high reconstruction quality (30+ PSNR) with only 20 input views (25 times fewer than clinical collections), which outperforms the state-of-the-arts. We have further conducted comprehensive experiments and ablation analysis to validate the effectiveness of our approach.

The recent neural implicit representation-based methods have greatly advanced the state of the art for solving the long-standing and challenging problem of reconstructing a discrete surface from a sparse point cloud. These methods generally learn either a binary occupancy or signed/unsigned distance field (SDF/UDF) as surface representation. However, all the existing SDF/UDF-based methods use neural networks to implicitly regress the distance in a purely data-driven manner, thus limiting the accuracy and generalizability to some extent. In contrast, we propose the first geometry-guided method for UDF and its gradient estimation that explicitly formulates the unsigned distance of a query point as the learnable affine averaging of its distances to the tangent planes of neighbouring points. Besides, we model the local geometric structure of the input point clouds by explicitly learning a quadratic polynomial for each point. This not only facilitates upsampling the input sparse point cloud but also naturally induces unoriented normal, which further augments UDF estimation. Finally, to extract triangle meshes from the predicted UDF we propose a customized edge-based marching cube module. We conduct extensive experiments and ablation studies to demonstrate the significant advantages of our method over state-of-the-art methods in terms of reconstruction accuracy, efficiency, and generalizability. The source code is publicly available at https://github.com/rsy6318/GeoUDF.

由于自我批判性和歧义，了解动态的手动运动和动态动作是一项基本而又具有挑战性的任务。为了解决遮挡和歧义，我们开发了一个基于变压器的框架来利用时间信息以进行稳健的估计。注意到手部姿势估计和动作识别之间的不同时间粒度和语义相关性，我们建立了一个网络层次结构，其中有两个级联变压器编码器，其中第一个利用了短期的时间cue进行手姿势估算，而后者则每次聚集物，后者每次聚集体 - 帧姿势和对象信息在更长的时间范围内识别动作。我们的方法在两个第一人称手动作基准（即FPHA和H2O）上取得了竞争成果。广泛的消融研究验证了我们的设计选择。我们将开放源代码和数据以促进未来的研究。

从单眼视频中估算移动摄像头的姿势是一个具有挑战性的问题，尤其是由于动态环境中移动对象的存在，在动态环境中，现有摄像头姿势估计方法的性能易于几何一致的像素。为了应对这一挑战，我们为视频提供了一种强大的密度间接结构，该结构是基于由成对光流初始化的致密对应的。我们的关键想法是将远程视频对应性优化为密集的点轨迹，并使用它来学习对运动分割的强大估计。提出了一种新型的神经网络结构来处理不规则的点轨迹数据。然后，在远程点轨迹的一部分中，通过全局捆绑式调整估算和优化摄像头姿势，这些轨迹被归类为静态。 MPI Sintel数据集的实验表明，与现有最新方法相比，我们的系统产生的相机轨迹明显更准确。此外，我们的方法能够在完全静态的场景上保留相机姿势的合理准确性，该场景始终优于端到端深度学习的强大最新密度对应方法，这证明了密集间接方法的潜力基于光流和点轨迹。由于点轨迹表示是通用的，因此我们进一步介绍了具有动态对象的复杂运动的野外单眼视频的比较。代码可在https://github.com/bytedance/particle-sfm上找到。

本文提出了一个逐步连接的光场网络（Prolif），以构成复杂的前向场景的新观点。扩散编码一个4D光场，该场允许在一个训练步骤中渲染大量射线，以实现图像或贴片级损失。直接从图像中学习神经光场很难呈现多视图一致的图像，因为它对基础3D几何形状的不了解。为了解决这个问题，我们提出了一种渐进培训计划和正则化损失，以推断训练过程中的基础几何形状，这两者都会实现多视图一致性，从而极大地提高了渲染质量。实验表明，与香草神经光场相比，我们的方法能够实现明显更好的渲染质量，并且与挑战性的LLFF数据集和闪亮对象数据集的类似NERF的渲染方法相当。此外，我们证明了与LPIP的损失更好的兼容性，以实现与不同的光条件和剪辑损失的稳健性，以控制场景的渲染方式。项目页面：https：//totoro97.github.io/projects/prolif。